Pada tahun 1937, menjelang akhir zaman Belanda, Amir mengetuai sekumpulan Marxis muda dalam penubuhan Gerindo ('Gerakan Rakyat Indonesia'), sebuah parti operasi radikal yang menentang fasisme antarabangsa sebagai musuh utamanya.[2] Doktrin Dmitrov yang Soviet Union telah menyeru agar persekutuan yang sama menentang fasisme yang membantu membengkak jumlah orang Indonesia yang mengambil pendekatan koperasi berhubung dengan pentadbiran kolonial Belanda dalam usaha untuk mendapatkan kemerdekaan Indonesia. Gerindo adalah salah satu daripada parti-parti koperasi yang lebih penting dalam tahun-tahun yang membawa kepada Perang Dunia II yang objektifnya termasuk badan perundangan sepenuhnya Indonesia; Ia mempunyai matlamat sederhana berbanding dengan nasionalis radikal yang ditindas oleh Belanda yang dipimpin oleh orang-orang seperti Sukarno dan Hatta, yang Sjarifuddin telah bertemu sebelum Perang.[3] Menjelang tahun 1940, perisikan Belanda mengesyaki dia terlibat dengan bawah tanah Komunis.

Setelah melihat peningkatan kekuatan dan pengaruh Imperial Jepun, Amir adalah salah seorang dari beberapa pemimpin Indonesia yang memberi amaran terhadap bahaya fasisme sebelum perang.[1] Sebelum pencerobohan Belanda oleh sekutu Jepun di Jerman, Hindia Belanda merupakan pengeksport utama bahan mentah ke Asia Timur dan untuk tujuan ini, kumpulan Amir telah mempromosikan boikot melawan Jepun. Adalah difikirkan bahawa peranannya yang menonjol dalam kempen ini mendorong ketua perisik Belanda untuk memberikan Amir dengan 25,000 guilder pada bulan Mac 1942 untuk mengatur gerakan penentangan bawah tanah melawan Jepun melalui hubungan Marxis dan nasionalisnya. Pada ketika ini, pentadbiran kolonial Belanda telah runtuh terhadap serangan Jepun dan tentera Belanda teratas melarikan diri ke Indonesia untuk Australia.[4]Setelah pendudukan mereka di Indonesia, jumlah penindasan Jepun yang dipaksakan terhadap penentangan terhadap peraturan mereka. Kebanyakan pemimpin Indonesia memaksa sama ada dengan menjadi 'pemerhati neutral' atau secara aktif bekerjasama. Sjarifuddin adalah satu-satunya ahli politik Indonesia yang terkemuka di samping Sutan Sjahrir untuk menyusun rintangan aktif. Orang Jepun menangkap Sjarifuddin pada tahun 1943 dan beliau terlepas hukuman hanya kerana campur tangan dari Sukarno, yang popularitinya di Indonesia - dan oleh kerana itu pentingnya usaha perang - diakui oleh orang Jepun.[5]